
想训练类Sora模型吗?尤洋团队OpenDiT实现80%加速
想训练类Sora模型吗?尤洋团队OpenDiT实现80%加速根据 OpenAI 披露的技术报告,Sora 的核心技术点之一是将视觉数据转化为 patch 的统一表征形式,并通过 Transformer 和扩散模型结合,展现了卓越的扩展(scale)特性。
根据 OpenAI 披露的技术报告,Sora 的核心技术点之一是将视觉数据转化为 patch 的统一表征形式,并通过 Transformer 和扩散模型结合,展现了卓越的扩展(scale)特性。
2 月 26 日消息,有网友在“X”上发布了 OpenAI Feather 的应用页面。
在 OpenAI 发布 Sora 之后,很多人惊呼人类已经迈入 AI 视频时代。除了一次次震惊世界的 AI 视频生成能力展示之外,海外网友讨论的最多的话题,还有「未来该如何避免虚假视频充斥着我们的生活」?
去年年底,谷歌 Gemini 震撼了业界,它是谷歌「最大、最有能力和最通用」的 AI 系统,号称第一个原生多模态大模型,能力超越 GPT-4,也被认为是谷歌反击微软和 OpenAI 的强大工具。
前阵子官宣的大模型 Gemini 1.5,实力强劲但无人问津,被 OpenAI 的视频生成模型 Sora 抢去了风头。
推测解码(Speculative Decoding)是谷歌等机构在 2022 年发现的大模型推理加速方法。它可以在不损失生成效果前提下,获得 3 倍以上的加速比。GPT-4 泄密报告也提到 OpenAI 线上模型推理使用了它。
我们接连被谷歌的多模态模型 Gemini 1.5 以及 OpenAI 的视频生成模型 Sora 所震撼到,前者可以处理的上下文窗口达百万级别,而后者生成的视频能够理解运动中的物理世界,被很多人称为「世界模型」。
从文本生成模型 GPT、文生图模型 DALL·E,到文生视频模型 Sora,OpenAI 可以说成功跑通了 AGI 的所有技术栈,为什么是 OpenAI 而不是谷歌、Meta?
Moonshot AI 开放平台今天正式启动公开测试。为了方便 AI 开发者快速接入模型能力,Moonshot AI 开放平台的 API 与 OpenAI 兼容。开发者可以平滑迁移,无需对代码做任何基本参数外的“额外”修改,立即体验到 moonshot 模型的能力。
也许,谷歌此举是为了提前应对 OpenAI 可能于今年推出的 GPT-4.5 或 GPT-5。